MVR-cache: Optimizing Semantic Caching via Multi-Vector Retrieval and Learned Prompt Segmentation
利用多向量检索与可学习提示分割优化语义缓存
🧭 语义缓存 · 多向量检索与分割学习 ★ 深度解读
Peking University · Renmin University of China
通过轻量可学习分割模型与多向量检索（MaxSim）提升语义缓存命中率最高37%，并保持理论正确性保证。
📌 工作参考价值（4 点）
- 提高在线LLM服务的缓存命中率：在对话式电商推荐、Agent辅助客服等场景，采用MVR-cache的分割策略可将语义缓存命中率提升37%，大幅减少重复推理调用，降低延迟与成本。
- 轻量级分割模型可在线部署：提出的分割模型仅500–600MB，远小于生产LLM，可作为独立微服务实时分割提示，无显著额外开销，适合电商高并发推理场景。
- 多向量相似度替代单向量余弦：借鉴论文的对称MaxSim度量，在缓存或召回系统中用多向量精细匹配，能更好区分表层相似但语义相反的文本，如正/负评论、语义相近但意图不同的Agent指令。
- 有理论保障的缓存策略学习方法：论文证明了优化BCE损失即可最大化命中率并控制错误率，并给出RL训练框架，可直接用于需保证安全边界的推荐/客服缓存系统，实现可证明的正确性约束。